通用近似定理断言，单个隐藏层神经网络在紧凑型集合上具有任何所需的精度，可以近似连续函数。作为存在的结果，通用近似定理支持在各种应用程序中使用神经网络，包括回归和分类任务。通用近似定理不仅限于实现的神经网络，而且还具有复杂，季节，Tessarines和Clifford值的神经网络。本文扩展了广泛的超复杂性神经网络的通用近似定理。确切地说，我们首先介绍非分类超复杂代数的概念。复数，偶数和苔丝是非分类超复合代数的示例。然后，我们陈述了在非分类代数上定义的超复合值的神经网络的通用近似定理。
translated by 谷歌翻译
随着深度和卷积神经网络的发展，近年来，神经网络领域已经出现了重大进展。虽然目前的许多作品地址地址的实际型号，但最近的研究表明，具有超清印的参数的神经网络可以更好地捕获，概括并表示多维数据的复杂性。本文探讨了急性淋巴细胞白血病诊断急性淋巴细胞白血病的季屈节型卷积神经网络应用。精确地，我们比较了实值和四元值值卷积神经网络的性能，从外周血涂片微观图像分类淋巴细胞。四元值卷积的卷积神经网络比其相应的实值网络实现更好或类似的性能，但仅使用其参数的34％。该结果证实，四元数代数允许从具有较少参数的彩色图像捕获和提取信息。
translated by 谷歌翻译
在本文中，我们首先解决了Minemoto和合作者提出的优雅多价Quationnion Hopfield神经网络（MV-QHNN）的动态。与预期的相反，我们表明MV-QHNN以及其变化之一并不总是在通常的条件下在均衡状态下休息。实际上，我们提供简单的示例，其中网络产生了周期性状态向量的周期性序列。之后，我们注意我们的注意力对连续值的四端荷树群神经网络（CV-QHNN），其可以通过限制过程从MV-QHNN衍生自MV-QHNN。CV-QHNN可以比MV-QHNN模型更容易实现。此外，异步CV-QHNN在通常的条件下总是在平衡状态下落入均衡状态。本文中的例子均说明了理论问题。
translated by 谷歌翻译
本文介绍了用于回归任务的混合形态神经网络，称为线性扩张 - 渗透回归器（$ \ ell $ -der）。$ \ ell $ - 由线性和形态操作员组成的凸组合给出。它们产生连续的分段线性函数，因此是通用近似值。除了介绍$ \ ell $ - $德模型外，我们还将其培训作为凸（DC）编程问题的差异。确切地说，$ \ ell $ - 通过使用凸 - 孔隙过程（CCP）最小化最小二乘的培训。使用多个回归任务的计算实验证实了所提出的回归器的功效，表现优于其他混合形态模型和最先进的方法，例如多层感知器网络和Radial-BASIS支持矢量回归器。
translated by 谷歌翻译
深度学习失败案例很丰富，尤其是在医疗区域。最近对分布式概括的研究已在控制良好的合成数据集上进行了大量发展，但它们不代表医学成像环境。我们提出了一条依赖伪像的管道的管道，以便为具有挑战性的皮肤病变分析环境提供概括评估和偏见。首先，我们将数据分为越来越高的偏见训练和测试集的水平，以更好地概括评估。然后，我们基于皮肤病变伪影创建环境，以实现域的概括方法。最后，经过强大的训练，我们执行了测试时间的偏差程序，从而减少了推理图像中的虚假特征。我们的实验表明，我们的管道改善了偏见的情况下的性能指标，并在使用解释方法时避免了伪像。尽管如此，在评估分布数据中的此类模型时，他们不喜欢临床上的功能。取而代之的是，只有在培训中呈现类似工件的测试集中的性能得到了改善，这表明模型学会忽略了已知的伪像。我们的结果引起了人们的关注，即对单个方面的偏见模型可能不足以容纳皮肤病变分析。
translated by 谷歌翻译
数码相机通过图像信号处理器（ISP）将传感器原始读数转换为RGB图像。诸如图像去噪和颜色恒定的计算摄影任务通常在原始域中进行，部分原因是由于固有的硬件设计，而且由于引起了由直接传感器读数导致的噪声统计的吸引力的吸引力。尽管如此，与可用RGB数据的丰富和多样性相比，原始图像的可用性有限。最近的方法已经尝试通过估计RGB对原始映射来弥合这个差距：可手工制作的基于模型的方法，这些方法通常需要手动参数微调，而端到端的学习神经网络需要大量的培训数据，有时与复杂的训练程序，并且通常缺乏解释性和参数控制。为了解决这些现有的限制，我们提出了一种基于混合模型的基于混合模型和数据驱动的ISP，其构建在规范ISP运营中，并且是学习和可解释的。我们所提出的可逆模型，能够在原始和RGB域之间双向映射，采用丰富的参数表示的端到端学习，即词典，即没有直接参数监督，另外启用简单且合理的数据增强。我们证明我们的数据生成过程的价值在原始图像重建和原始图像去噪任务下，在两者中获得最先进的性能。此外，我们表明我们的ISP可以从少数数据样本中学习有意义的映射，并且尽管只有少数或零地面标签，但基于大字典的数据增强训练的那种培训的培训模型是有竞争力的。
translated by 谷歌翻译
自我监督的预训练似乎是在转移学习预培训的有利替代方案。通过在借口任务上综合注释，自我划分允许在对目标任务进行细微调整之前对大量伪标签进行预训练模型。在这项工作中，我们评估了诊断皮肤病变的自学意识，将三个自我监管的管道与具有挑战性的监督基线进行了比较，该管道包括五个测试数据集，其中包括分布式和分布样品的五个测试数据集。我们的结果表明，自学在改善准确性和降低结果的可变性方面都具有竞争力。自我划分证明，对于低训练数据方案（$ <1 \，500 $和$ <150 $样本）而言，它特别有用，在该方案中，其稳定结果的能力对于提供合理的结果至关重要。
translated by 谷歌翻译
Lifelong learning has attracted much attention, but existing works still struggle to fight catastrophic forgetting and accumulate knowledge over long stretches of incremental learning. In this work, we propose PODNet, a model inspired by representation learning. By carefully balancing the compromise between remembering the old classes and learning new ones, PODNet fights catastrophic forgetting, even over very long runs of small incremental tasks -a setting so far unexplored by current works. PODNet innovates on existing art with an efficient spatialbased distillation-loss applied throughout the model and a representation comprising multiple proxy vectors for each class. We validate those innovations thoroughly, comparing PODNet with three state-of-the-art models on three datasets: CIFAR100, ImageNet100, and ImageNet1000. Our results showcase a significant advantage of PODNet over existing art, with accuracy gains of 12.10, 6.51, and 2.85 percentage points, respectively. 5
translated by 谷歌翻译
The Elo algorithm, due to its simplicity, is widely used for rating in sports competitions as well as in other applications where the rating/ranking is a useful tool for predicting future results. However, despite its widespread use, a detailed understanding of the convergence properties of the Elo algorithm is still lacking. Aiming to fill this gap, this paper presents a comprehensive (stochastic) analysis of the Elo algorithm, considering round-robin (one-on-one) competitions. Specifically, analytical expressions are derived characterizing the behavior/evolution of the skills and of important performance metrics. Then, taking into account the relationship between the behavior of the algorithm and the step-size value, which is a hyperparameter that can be controlled, some design guidelines as well as discussions about the performance of the algorithm are provided. To illustrate the applicability of the theoretical findings, experimental results are shown, corroborating the very good match between analytical predictions and those obtained from the algorithm using real-world data (from the Italian SuperLega, Volleyball League).
translated by 谷歌翻译
We describe a Physics-Informed Neural Network (PINN) that simulates the flow induced by the astronomical tide in a synthetic port channel, with dimensions based on the Santos - S\~ao Vicente - Bertioga Estuarine System. PINN models aim to combine the knowledge of physical systems and data-driven machine learning models. This is done by training a neural network to minimize the residuals of the governing equations in sample points. In this work, our flow is governed by the Navier-Stokes equations with some approximations. There are two main novelties in this paper. First, we design our model to assume that the flow is periodic in time, which is not feasible in conventional simulation methods. Second, we evaluate the benefit of resampling the function evaluation points during training, which has a near zero computational cost and has been verified to improve the final model, especially for small batch sizes. Finally, we discuss some limitations of the approximations used in the Navier-Stokes equations regarding the modeling of turbulence and how it interacts with PINNs.
translated by 谷歌翻译